Objectifs
Formation 1
Formation 2
Formation 3
“an article about computational result is advertising, not scholarship. The actual scholarship is the full software environment, code and data, that produced the result.” Claerbout cité par in Buckheit and Donoho, 1995
Principe à la base de la reproductibilité est que l’unité traditionnelle de la diffusion scientifique, ie l’article publié, n’est que la pointe de l’iceberg du processus de recherche.
“[…¸] openness alone does not guarantee reproducibility or reusability, so it should not be pursued as a goal in itself. Focusing on data is also not enough: it needs to be accompanied by software, workflows and explanations, all of which need to be captured throughout the usual iterative and closed research lifecycle, ready for a timely open release with the results.”
– Pas capable de l’ouvrir!
– Comprend rien!
– Marche pas!
Certains vont plus loin en distinguant différents types de reproductibilité: empirique, méthodologique, statistique, informatique, … Stodden, 2018
La reproductibilité des résutats n’est pas synonyme de validité, mais de transparence. Les “mauvaises analyses” peuvent aussi être reproductibles!
Nombreux débats depuis des décennies sur la reconnaissance de la “subjectivité”, la spécificité épistémologique des sciences humaines, le dualisme méthodologique entre recherche qualitative et quantitative, …
La “rigueur scientifique” ne peut reposer que sur le seul critère de reproductibilité puisqu’on ne peut de reproduire les conditions exactes d’une recherche qualitative.
“Si vous me laissez mener une analyse qualitative exactement comme je l’entends, je ne vais pas du tout me pencher sur le pourcentage de telle ou telle réponse, car cela ne m’intéresse pas. […] Ne me demandez pas ensuite si cela est reproductible. Ça ne l’est pas et ce n’est d’ailleurs pas du tout le but. Je ne mène pas des enquêtes pour qu’elles soient établies comme vérité après que deux ou trois autres enquêtes auront reproduit la mienne et seront arrivées aux mêmes résultats.” (Paillé, 2019 )
De quoi aurait besoin un collègue qui voudrait reproduire mes résultats sans mon aide?
Il faut penser à long terme dès le départ.
Les chercheurs ne se mettent souvent à penser aux exigences de la reproductibilité qu’au moment de publier un article, lorsque l’éditeur demande des révisions ou lorsqu’un autre chercheur demande accès à son matériel.
Entraine beaucoup plus de travail que d’y penser dès le départ.
Tout commence avec un plan de gestion de données de recherche
Structurer en sous dossiers pour bien diviser les différents types de fichiers produits (fichiers de code, graphiques, résultats, données, documentation …).
TOUJOURS séparer les données brutes (fichier sacré! Ne jamais modifier et conserver pour toujours) des outputs (données dérivées/modifiées, générées par analyses…).
Déterminer ce que l’on fait des anciens fichiers (supprimer, archiver?).
Zipper son projet complet avec dates lorsque l’on y a fait des changements majeurs ou à intervalle régulier.
Développer de bonnes pratiques de sauvegarde tout au long du projet (règle du 3, 2, 1).
Définir des procédures de gestion de versions de l’ensemble de ses fichiers
Problems with using Microsoft Excel for Statistical Analysis & Graphics
Treat program as literature to be understandable to human beings
Principe est que le code et la documentation qui l’explique devaient se trouver dans un même document pour en assurer la reproductibilité donc permettre aux autres chercheurs de comprendre les tâches demandées au logiciel.
Utiliser des outils pour transformer son code en rapports reproductibles > documents computationnels (notebooks)
Document reliant les résultats, le code qui les a générés et les commentaires qui expliquent chacune des étapes : La source et le chargement données, les modifications et analyses effectuées et les résultats obtenus > toute la chaine peut ainsi être reproduite.
– De plus en plus d’éditeurs et d’organismes le suggèrent ou même l’obligent.
– Communauté scientifique le demande de plus en plus.
– Recherche de meilleure qualité avec meilleure visibilité.
*Attention car le transfert en format texte peut entrainer des pertes d’information sur les variables. Il est conseillé de créer un dictionnaire de codes pour décrire ses variables (peut être automatisé).
Principes de Tidy Data (Hadley Wickham)
Outil de nettoyage: https://openrefine.org/
Plusieurs outils de programmation peuvent être utilisés pour améliorer la reproductibilité de ses analyses. L’important est de choisir un language qui permet à la fois d’automatiser ET documenter ses analyses.
